Die Steuerung von Suchmaschinen-Crawlern über das Meta-Element „robots“ ist ein zentrales Werkzeug der Onpage-Optimierung. Während die Kombination index, follow der Standard für die meisten Seiten ist, sorgt das Duo noindex, follow oft für Diskussionsstoff.
Die Grundlagen: Index vs. NoIndex
Mit dem Robots-Tag im Quellcode gibst du Anweisungen direkt an den Crawler:
- index, follow: „Nimm diese Seite in den Index auf und folge allen Links.“
- noindex: „Zeige diese Seite niemals in den Suchergebnissen an.“
Warum noindex, follow kombinieren?
Die theoretische Idee hinter dieser Kombination ist: Eine Seite soll für Nutzer in der Suche unsichtbar bleiben, aber ihre Funktion als „Link-Verteiler“ behalten.Ein klassisches Szenario sind Tag-Seiten oder interne Archiv-Seiten. In der Vergangenheit kam es häufig vor, dass eine Schlagwort-Seite (die lediglich eine Liste von Teasern enthält) in den Suchergebnissen über dem eigentlichen, hochwertigen Fachartikel rankte. Um diese so genannte „Keyword-Kannibalisierung“ zu verhindern, setzen Webmaster die Tag-Seite auf noindex. Durch den Zusatz follow soll sichergestellt werden, dass der Crawler über diese Seite trotzdem zu den tief verlinkten Artikeln findet.
Die aktuelle Sicht von Google (John Mueller)
Lange Zeit galt die Kombination noindex, follow als Standardlösung. Doch die Sichtweise von Google, insbesondere vertreten durch John Mueller (Senior Search Analyst), hat sich hierzu präzisiert. Es gibt zwei entscheidende Punkte, die Webmaster heute kennen müssen:
- Der Unterschied zwischen Anweisung (Directive) und Hinweis (Hint) Mueller betonte 2022, dass noindex eine strikte Anweisung (Directive) ist. Google befolgt diesen Befehl immer. Im Gegensatz dazu sind Link-Attribute wie rel=“nofollow“ nur Hinweise (Hints), die Google ignorieren kann (z. B. um neue Inhalte zu entdecken). Wenn eine Seite also sicher nicht im Index landen soll, ist noindex der einzige verlässliche Weg.
- Das Missverständnis der Langzeitwirkung Obwohl Google das noindex strikt befolgt, warnt Mueller davor, dass die Kombination mit follow kein dauerhaftes Werkzeug zur Linkvererbung ist. Er erklärte dies wie folgt:
„Es ist knifflig mit ‚noindex‚ […]. Bei ’noindex, follow‘ ist es zunächst so, dass wir das ’noindex‘ sehen. Im ersten Schritt sagen wir: ‚Okay, du willst nicht, dass diese Seite in den Suchergebnissen erscheint. Wir behalten sie zwar noch in unserem Index, zeigen sie nur nicht an – und dann können wir diesen Links folgen.‘
Wenn wir das ’noindex‘ dort jedoch über einen längeren Zeitraum sehen, denken wir uns: Diese Seite will WIRKLICH nicht in der Suche verwendet werden, also werden wir sie komplett entfernen. Und dann werden wir den Links ohnehin nicht mehr folgen. Somit ist ’noindex, follow‘ im Grunde dasselbe wie ’noindex, nofollow‘. Auf lange Sicht gibt es da keinen wirklich großen Unterschied.“
Analyse und Monitoring mit SISTRIX
Um die Indexierung deiner Seite nicht dem Zufall zu überlassen, bietet SISTRIX gezielte Werkzeuge zur Kontrolle und Strategieplanung:
- Onpage Analyse: Hier kannst die gesamte Website automatisiert gecrawlt werden. Das Tool identifiziert sofort technische Konflikte, etwa wenn Seiten fälschlicherweise auf noindex stehen, nicht erreichbar sind oder andere Indexierungsprobleme aufweisen.
- Kannibalisierungs Check: Da
noindexoft genutzt wird, um interne Konkurrenz zu vermeiden, ist dieser Bericht essenziell. Er lässt sich über die Filterfunktion in einer Keyword Liste aufrufen. Der Filter zeigt, welche URLs für identische Suchbegriffe ranken. So ist schnell zu erkennen, ob bspw. eine Tag-Seite die Sichtbarkeit eines Hauptartikels schwächt und ob eine Deindexierung hier die richtige strategische Lösung ist.
Fazit: Wann ist es sinnvoll?
Die Kombination ist heute vor allem als temporäre Maßnahme oder für Seiten mit extrem hoher Update-Frequenz sinnvoll.
| Szenario | Empfehlung |
|---|---|
| Kurzfristige De-Indexierung | noindex, follow ist okay. |
| Dauerhafte Link-Vererbung | Ein 301-Redirect ist vorzuziehen, da er Linkkraft sicher überträgt. |
| Paginierte Seiten | Google empfiehlt hier meistens index, follow, da der Algorithmus Paginierungen heute besser versteht. |
Zusammenfassend: Nutze noindex, follow nur, wenn du dir bewusst bist, dass Google nach einiger Zeit aufhören wird, die Links auf dieser Seite aktiv zu verfolgen. Für eine dauerhafte Architektur ist die saubere interne Verlinkung oder ein Canonical-Tag oft die bessere Wahl.
SISTRIX kostenlos testen
- Kostenloser Testaccount für 14 Tage
- Unverbindlich, keine Kündigung notwendig
- Persönliches Onboarding durch Experten
